MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement
MiMo-V2.6：面向自我改进的大规模强化学习训练
🧭 大规模强化学习训练与 Agentic RL 基础设施 ★ 深度解读
LLM-Core Xiaomi
通过扩展 RL 训练计算、任务环境与 grader 计算，在代码/通用/视觉/安全任务上稳定提升 1T 与 310B MoE 模型。
📌 工作参考价值（3 点）
- 防 reward hacking 的工程闭环可迁移到推荐/广告 RL 训练：环境清理（去缓存、隔离网络）、hack agent 对抗探测、训练中离线审计 + 作弊轨迹奖励清零，把 hack 率控制在 2% 以下，适合在线学习/探索场景。
- Groupwise advantage redistribution 思路可用于推荐模型基于 listwise/groupwise 反馈的训练：在 batch 内按质量因子对正样本重新分配 advantage，既保留成功样本梯度又惩罚低质量转化/刷指标行为，避免模型学到投机式优化。
- 大模型 RL 基础设施设计值得参考：统一 trajectory 表示、control/data plane 解耦、partial rollout + Sample Mixer 稳定多任务 batch 组成、冻结 MoE router 保证训练稳定；这些对大规模生成式推荐/Agent 在线更新有直接工程价值。